Dưới tên là Pfalzerzherzog, tước hiệu này được Công tước Rudolf IV đặt ra vào năm 1356. Sắc lệnh vàng (tiếng La tinh: aurea bulla) năm 1356 của Hoàng đế Karl IV quy định những công tước hay hầu tước có quyền được bầu hoàng đế, điều này gắn liền với một loạt các đặc quyền khác. nươuc1 Áo không được nhắc đến trong sắc lệnh này nên ngay sau đó Rudolf đã cho giả mạo một đặc quyền (Privilegium Maius) mà trong đó ngoài những điều khác ra còn ban cho ông tước hiệu Pfalzerzherzog và như vậy là đặt ông ngang hàng với các tuyển hầu tước (tiếng Anh: Elector, tiếng Đức: Kurfürst). Thế nhưng tước hiệu này không được hoàng đế chấp nhận. Mãi đến năm 1453 Hoàng đế Friedrich III mới công nhận tước hiệu này và vì thế làm cho tước hiệu này trở thành luật lệ có giá trị. Từ đấy, nước Áo là một Đại công quốc (tiếng Đức: Erzherzogtum) và tước hiệu này trở thành một đặc điểm của dòng họ Habsburg[2]. Tước hiệu Đại công tước Áo là do muốn có quan hệ đến các tuyển hầu tước, những người còn được biết đến như là đại hầu tước (tiếng Đức: Erzfürst). Danh hiệu đại công tước được Ernst Sắt đá (tiếng Anh: Ernest the Iron, tiếng Đức: Ernst der Eiserne) đưa ra lần đầu tiên.

Trong bức chân dung của Rudolf IV, tước hiệu này được biểu tượng bằng một vương miện Đại công tước Áo, nhưng thật ra vương miện này không có thật. Erst Sắt đá đã cho làm một vương miện tương tự và khi Đại công tước Áo Ferdinand II qua đời năm 1559 một vương miện như vậy cũng được chế tạo. Tuy vậy vương miện thật sự của Đại công quốc Áo, được gọi là Mũ đại công tước Áo (Erzherzoghut) được làm theo yêu cầu của Maximilian III và từ đấy được giữ trong tu viện Klosterneuburg (Áo). Mỗi khi có lễ thần phục của một đại công tước, chiếc mũ này được mang đến Viên (Áo), lần cuối cùng là năm 1835. Thêm vào đó là vẫn còn 2 chiếc vương miện đại công tước Áo khác hiện vẫn còn giữ được, một chiếc ở Maria Stein gần Wörgl của vùng Tirol và ở Steiermark (Áo). Vương miện do Joseph II đặt làm khi ông lên ngôi Hoàng đế của Đế quốc La Mã Thần thánh hiện chỉ còn lại phần vải.

Cho đến năm 1918 Áo chỉ là một đại công quốc (Erzherzogtum), bao gồm hai tiểu bang Oberösterreich (Thượng Áo) và Niederösterreich (Hạ Áo) ngày nay của nước Áo. Danh hiệu đế quốc Áo (Kaisertum Österreich) được tạo ra năm 1804 dùng để chỉ toàn bộ đất đai của dòng họ Habsburg mà trong đó bao gồm cả Đại công quốc Áo.